- Vue d'ensemble (Overview)
- Automatisation de l'interface utilisateur
- UI-ANA-016 - Extraire l'URL ouverte du navigateur
- UI-ANA-017 - ContinuerSurErreur (ContinueOnError) True
- UI-ANA-018 - Répertorier les activités d'OCR/d'image
- UI-DBP-006 - Utilisation du conteneur
- UI-DBP-013 - Utilisation abusive de l’automatisation Excel
- UI-DBP-030 - Utilisation de variables interdites dans les sélecteurs
- ST-DBP-021 - Délai d'expiration codé en dur
- UI-PRR-001 - Simuler un clic
- UI-PRR-002 - Type de simulation
- UI-PRR-003 - Ouverture d'une utilisation abusive de l'application
- UI-PRR-004 - Délais codés en dur
- UI-REL-001 - Idx volumineux dans les sélecteurs
- UI-SEC-004 - Données d’e-mail du sélecteur
- UI-SEC-010 - Restrictions d'applications/d'URL
- UI-USG-011 - Attributs non autorisés
- SY-USG-013 - Invocation de fichier privé
- SY-USG-014 - Espaces réservés de modèle d'exécution incorrects
- Applications et technologies automatisées avec UI Automation
- Outil de migration de navigateur UiPath
- Enregistreur de Computer Vision
- Cliquer (Click)
- Pointer (Hover)
- Saisir un texte sécurisé (Type Secure Text)
- Envoyer le raccourci (Send Hotkey)
- Saisir dans (Type Into)
- Vérifier (Check)
- Sélectionner l'élément (Select Item)
- Sélectionner plusieurs éléments (Select Multiple Items)
- Obtenir le texte (Get Text)
- Définir le texte (Set Text)
- Activer (Activate)
- Mettre en surbrillance (Highlight)
- Définir le focus (Set Focus)
- Base d'ancrage (Anchor Base)
- Context Aware Anchor
- Rechercher l'élément relatif (Find Relative Element)
- Indiquer sur l'écran (Indicate On Screen)
- Élément existant (Element Exists)
- Rechercher l'élément (Find Element)
- Attendre que l'élément disparaisse (Wait Element Vanish)
- Rechercher les enfants (Find Children)
- Obtenir l'ancêtre (Get Ancestor)
- Étendue de l'élément (Element Scope)
- Obtenir l'attribut (Get Attribute)
- Définir la zone de détourage (Set Clipping Region)
- Obtenir la position (Get Position)
- Prendre une capture d'écran (Take Screenshot)
- Attendre un attribut (Wait Attribute)
- Sur affichage de l'élément (On Element Appear)
- Sur disparition de l'élément (On Element Vanish)
- Cliquer sur le texte (Click Text)
- Pointer sur le texte (Hover Text)
- Rechercher la position du texte (Find Text Position)
- Obtenir le texte complet (Get Full Text)
- Obtenir le texte visible (Get Visible Text)
- Extraire les données structurées (Extract Structured Data)
- Texte existant (Text Exists)
- Cliquer sur le texte OCR (Click OCR Text)
- Pointer sur le texte OCR (Hover OCR Text)
- Obtenir le texte OCR (Get OCR Text)
- Rechercher une position de texte OCR (Find OCR Text Position)
- Reconnaissance optique des caractères Microsoft (Microsoft OCR)
- Microsoft Project Oxford Online OCR
- Microsoft Azure ComputerVision OCR
- Tesseract OCR
- Google Cloud Vision OCR
- Texte OCR existant (OCR Text Exists)
- Cliquer sur l'image (Click Image)
- Pointer sur l'image (Hover Image)
- Rechercher les correspondances de l'image (Find Image Matches)
- Image existante (Image Exists)
- Rechercher l'image (Find Image)
- Attendre que l'image disparaisse (Wait Image Vanish)
- Sur apparition de l'image (On Image Appear)
- Sur disparition de l'image (On Image Vanish)
- Charger l'image (Load Image)
- Enregistrer l'image (Save Image)
- Lier à un navigateur (Attach Browser)
- Fermer l'onglet (Close Tab)
- Revenir en arrière (Go Back)
- Avancer (Go Forward)
- Accéder à l'accueil (Go Home)
- Injecter JavaScript (Inject JS Script)
- Accéder à (Navigate To)
- Ouvrir le navigateur (Open Browser)
- Actualiser le navigateur (Refresh Browser)
- Définir l'attribut Web (Set Web Attribute)
- Lier à une fenêtre (Attach Window)
- Fermer la fenêtre (Close Window)
- Obtenir la fenêtre active (Get Active Window)
- Masquer la fenêtre (Hide Window)
- Agrandir la fenêtre (Maximize Window)
- Réduire la fenêtre (Minimize Window)
- Déplacer la fenêtre (Move Window)
- Restaurer la fenêtre (Restore Window)
- Afficher la fenêtre (Show Window)
- Export UI Tree
- Invoquer la méthode ActiveX
- Injecter du code .NET
- Déclencheur de clic (Click Trigger)
- Déclencheur de pression de touche (Key Press Trigger)
- Déclencheur de clic image (Click Image Trigger)
- Déclencheur système (System Trigger)
- Déclencheur de raccourci (Hotkey Trigger)
- Déclencheur de souris (Mouse Trigger)
- Obtenir les infos de l'événement (Get Event Info)
- Surveiller les événements (Monitor Events)
- Obtenir l'élément source (Get Source Element)
- Relire l'événement utilisateur (Replay User Event)
- Block User Input
- Utiliser le premier plan
- Element Attribute Change Trigger
- Element State Change Trigger
- Légende (Callout)
- Copier le texte sélectionné (Copy Selected Text)
- Récupérer du presse-papiers (Get From Clipboard)
- Placer dans le presse-papiers (Set To Clipboard)
- Fermer l'application (Close Application)
- Ouvrir l'application (Open Application)
- Déclencher le processus (Start Process)
- Récupérer le mot de passe (Get Password)
- Info-bulle
- Click Picture on Screen
- Click Toolbar Button
- Read Statusbar
- Select Dates In Calendar
- Select Menu Item
- Expand Tree
- Call Transaction
- SAP Logon
- SAP Login
- Table Cell Scope
- SAP Session Attributes Change Trigger
- Expand ALV Tree
- Expand ALV Hierarchical Table
- Use Application/Browser
- Check App State
- Check/Uncheck
- Cliquer (Click)
- Extract Table Data
- Obtenir le texte (Get Text)
- Get URL
- Go To URL
- Mettre en surbrillance (Highlight)
- Pointer (Hover)
- Raccourcis clavier
- Navigate Browser
- Sélectionner l'élément (Select Item)
- Prendre une capture d'écran (Take Screenshot)
- Saisir dans (Type Into)
- Obtenir l'attribut (Get Attribute)
- Get Browser Data
- Set Browser Data
- Mouse scroll
- Inject Js Script
- Glisser et déposer
- For Each UiElement
- Application event trigger
- Click Event Trigger
- Keypress Event Trigger
- Définir le texte (Set Text)
- Check Element
- Remplir le formulaire
- Utilisation des activités Computer Vision
- CV Screen Scope
- CV Click
- CV Element Exists
- CV Get Text
- CV Highlight
- CV Hover
- CV Type Into
- CV Refresh
- CV Dropdown Select
- CV Check
- CV Extract Table
- Joindre
- Vérifier (Check)
- Cliquer (Click)
- Glisser et déposer
- Extraire des données
- Obtenir l'attribut (Get Attribute)
- ObtenirEnfants
- ObtenirCibleRuntime
- GetText
- Get URL
- GoToUrl
- Mettre en surbrillance (Highlight)
- Pointer (Hover)
- Activé
- Raccourci clavier
- Mouse scroll
- Ouvrir
- Sélectionner l'élément (Select Item)
- Prendre une capture d'écran (Take Screenshot)
- Saisir dans (Type Into)
- ÉtatAttente
- Effectuez une recherche par navigateur et récupérez les résultats à l'aide des API UI Automation
- Navigation sur le Web
- Rechercher des images
- Cliquer sur des images
- Déclencher et surveiller des événements
- Créer et remplacer des fichiers
- Pages HTML : extraire et manipuler des informations
- Manipulation des fenêtres
- Sélection de liste automatisée
- Rechercher et manipuler des éléments de fenêtre
- Gérer l'automatisation du texte
- Charger et traiter des images
- Gérer les actions activées par la souris
- Automatiser l'exécution des applications
- Exécution automatisée d'une application locale
- Navigation avec le navigateur
- Automatisation Web
- Exemple de fonctionnalités du déclencheur
- Computer Vision Local Server
- Automatisation mobile
- Notes de publication
- Compatibilité du projet
- Get Log Types
- Get Logs
- Get Page Source
- Get Device Orientation
- Get Session Identifier
- Installer l'application
- Gérer l'application actuelle
- Gérer une autre application
- Ouvrir DeepLink
- Ouvrir l'URL
- Mobile Device Connection
- Positional Swipe
- Press Hardware Button
- Set Device Orientation
- Prendre une capture d'écran (Take Screenshot)
- Prendre une partie de capture d'écran
- Élément existant (Element Exists)
- Execute Command
- Obtenir l'attribut (Get Attribute)
- Get Selected Item
- Obtenir le texte (Get Text)
- Set Selected Item
- Définir le texte (Set Text)
- Balayer
- Tap
- Saisir texte
- Dessiner un modèle
- Terminal
- Notes de publication
- À propos du package d'activités Terminal
- Compatibilité du projet
- Session de terminal (Terminal Session)
- Accéder à la zone d'écran (Get Screen Area)
- Obtenir le texte en position (Get Text at Position)
- Get Color At Position
- Obtenir le champ en position (Get Field at Position)
- Définir le champ en position (Set Field at Position)
- Attendre le texte en position (Wait Text at Position)
- Envoyer les touches (Send Keys)
- Déplacer le curseur (Move Cursor)
- Envoyer les touches en toute sécurité (Send Keys Secure)
- Obtenir le texte (Get Text)
- Rechercher un texte (Find Text)
- Move Cursor to Text
- Envoyer la touche Contrôle (Send Control Key)
- Obtenir le champ (Get Field)
- Attendre le texte d'écran (Wait Screen Text)
- Attendre le texte de champ (Wait Field Text)
- Définir le champ (Set Field)
Utilisation des activités Computer Vision
Toutes les activités Computer Vision ne fonctionnent que lorsqu'elles sont à l'intérieur d'une activité CV Screen Scope , qui établit la connexion réelle au serveur de réseau de neurones, vous permettant ainsi d'analyser l'interface utilisateur des applications que vous souhaitez automatiser.
Tout workflow utilisant les activités Computer Vision doit commencer par faire glisser une activité CV Screen Scope vers le panneau du concepteur.
Une fois cela fait, le bouton Indiquer à l’écran (Indicate on screen) dans le corps de l’activité d’étendue peut être utilisé pour sélectionner la zone de l’écran dans laquelle vous souhaitez travailler.
Une fois qu’une activité CV Screen Scope est correctement configurée, vous pouvez commencer à utiliser toutes les autres activités du pack pour créer votre automatisation.
Les activités qui effectuent des actions sur les éléments d'IU peuvent être configurées au moment de la conception en utilisant le bouton Indiquer à l'écran (Indicate On Screen ) présent dans le corps des activités. Les activités qui ont cette fonctionnalité sont :
- CV Screen Scope
- CV Dropdown Select
- CV Check
- CV Extract Table
- CV Click
- CV Element Exists
- CV Get Text
- CV Highlight
- CV Hover
- CV Type Into
Cliquer sur le bouton Indiquer à l'écran (raccourci : I) ouvre l'assistant.
Indiquer
Le champ Indiquer (Indicate) spécifie ce que vous indiquez pour le moment. Lorsque l'assistant est ouvert pour la première fois, la cible doit être indiquée. Pour chaque cible possible, l'assistant sélectionne automatiquement une ancre, si elle est disponible.
Afficher les éléments
Le bouton Afficher les éléments (raccourci : s) de l'assistant met en surbrillance tous les éléments d'IU qui ont été identifiés par l'analyse Computer Vision, ce qui vous permet de choisir plus facilement avec quoi interagir.
Actualisation de l'écran
Le bouton Actualiser l’écran (raccourci : F5) peut être utilisé au moment de la conception, au cas où quelque chose changerait dans l’application cible, vous permettant d’envoyer une nouvelle image au serveur Computer Vision pour qu’elle soit à nouveau analysée.
Actualisation différée de l'écran
Le bouton Actualisation différée de l'écran (raccourci : F2) exécute une actualisation de l'application cible après avoir attendu 3 secondes. Le sens de défilement automatique au moment de l'exécution est également capturé (propriété ScrollDirection).
Relatif à
Les activités qui ont l'assistant Indiquer (Indicate) incluent également une fonctionnalité Relatif à (Relative To), où la cible est un élément stable et vous marquez une distance par rapport à celui-ci. La cible principale, la cible stable, agit comme une cible proxy pour la deuxième cible, la cible relative.
Cela est utile lorsque vous souhaitez sélectionner une zone qui ne correspond pas aux éléments d'IU que le moteur Computer Vision a identifiés, ou lorsque vous souhaitez sélectionner une zone générale dans l'interface utilisateur sans spécifier d'élément d'IU.
La cible relative peut être soit un point unique, soit une sélection de zone dans l'application que vous automatisez.
La sélection d'un point unique est normalement placée à un endroit où la détection de Computer Vision n'est pas précise et peut ne pas trouver certains éléments. Les activités qui utilisent la sélection à un point sont Cliquer CV (CV Click), Pointer CV (CV Hover) et Saisir dans CV (CV Type Into).
La sélection de zone est utilisée par Obtenir le texte CV (CV Get Text) et est automatiquement activée pour cette activité.
En règle générale, toute ancre que vous ajoutez doit être trouvée au moment du runtime, ce qui signifie que si au moins une ancre est introuvable, toute la sélection est introuvable. Ainsi, les ancres doivent être des éléments stables que Computer Vision peut détecter à chaque fois et qui ne changent pas de façon radicale dans l'interface utilisateur au moment du runtime.
Imaginons que vous souhaitiez cliquer sur le bouton « X » dans l'image ci-dessous. Vous remarquerez que la cible est sur le bouton « X », mais que le clic se produit dans le cercle vert. C'est parce que vous avez choisi de cliquer de manière relative au bouton « X ». Ainsi, à moins que Computer Vision ne puisse détecter un certain élément d'IU, il n'est pas nécessaire d'utiliser la fonctionnalité Relatif à (Relative To).
Pour sélectionner le bouton « X » et non une zone relative à ce bouton, assurez-vous que le bouton « X » est cerclé de vert.
Si le bouton « X » n'est pas stable, vous pouvez cliquer par de manière relative à un élément stable.
Table Indication
Les activités Computer Vision offrent également une prise en charge des tables d'indication. Le ciblage dans les tableaux peut être effectué en sélectionnant une cellule avec laquelle vous souhaitez interagir, ce qui invite le réseau de neurones à identifier automatiquement la colonne et la ligne qui définissent la position de cette cellule, en les affichant dans une grille.
Par défaut, les noms de la colonne et de la ligne sont utilisés dans le descripteur pour localiser l'emplacement de la cellule. Cliquer sur les index de colonne et de ligne les ajoute automatiquement à votre descripteur. Cela peut être utile dans les situations où les noms de colonne et de ligne sont modifiés, mais que vous souhaitez extraire la même position d'une cellule.
Après avoir indiqué avec succès la Cible, l'assistant se ferme et l'activité est configurée avec la cible que vous avez sélectionnée.